面向长程终端任务的递归合成框架
🧭 递归合成 · 终端Agent训练任务 ★ 深度解读
Tencent HY LLM Frontier · University of Georgia · University of Maryland, College Park · University of Pennsylvania · Indiana University
递归扩展验证式合成，每任务$0.05且难度持续攀升，显著提升Agent长程执行能力。
📌 工作参考价值（4 点）
- 递归合成框架可自动化生成难度递进的训练任务：从已有种子任务出发，扩展解决方案、重对齐验证器与指令，沙箱验证通过即接受，可用于构建持续提升的 agent 训练课程。
- 低成本大规模验证数据：每任务约 $0.05，且验证成功率高，对需要可执行、可验证的训练场景（如电商客服工具调用 Agent）有直接借鉴。
- 多样性控制策略：通过种子 lineage 上限、重写操作符多样化、领域分布保持等手段，避免合成数据多样崩塌；可迁移到推荐或对话系统中自动生成多样化训练样本的流程。
- 合成数据结合 PPO 训练可显著提升 Agent 长程规划与工具使用：Qwen3.5-27B 在 Terminal-Bench 2 上相对基座提升 20.0%，表明即使无人工标注，仅靠合成任务和可执行奖励也能获得强泛化能力。
逃离自我确认陷阱：执行-蒸馏-验证的智能体经验学习框架
🧭 多智能体协作经验构建 ★ 深度解读
Zhejiang University · Tsinghua University · Northwestern Polytechnical University · University of Science and Technology of China · Shanghai Jiaotong University
通过多智能体异构执行、第三方对比蒸馏与共识验证，将经验学习从自反思循环重构为协作过滤，可靠抑制错误记忆污染
📌 工作参考价值（4 点）
- 经验构建的去偏设计：在电商Agent（如导购助手、客服Agent）的经验积累中，直接套用单智能体自总结容易把错误但自洽的交互流程当成成功案例写入记忆，导致后续任务复用错误策略。可借鉴EDV的第三方蒸馏：用另一个模型（或不同prompt的同一模型）对比多个并行执行轨迹，生成候选经验，减少执行者中心化的总结偏差。
- 共识验证提升记忆质量：在广告出价Agent或搜索推荐Agent的记忆更新时，引入执行者集体投票的默认拒绝机制，只有获得全体执行者一致认可的经验才进入共享记忆，部分认可则存入私有记忆。这能有效过滤幻觉与噪声，特别适用于无明确ground-truth的开放域任务。
- 异构执行增加探索多样性：实际业务中可部署多个不同模型（或同模型不同温度）对同一任务并行产生候选轨迹，而非简单增加重试次数。这样做能暴露不同的成功与失败模式，为后续经验提取提供更丰富的对比素材，类似推荐系统中的多样性采样。
- 能力矩阵与分层记忆：维护一个动态能力矩阵，记录各Agent擅长哪些任务类型；推理时先按任务匹配最适求解器，再从共享记忆和私有记忆中逐级检索。这种轻量级的路由+记忆分层模式可直接移植到多模型协同的推荐Agent系统，几乎不增加在线推理成本，却显著提升检索命中率和经验利用率。
回顾式进度感知训练：让LLM智能体在长程任务中自我反思
🧭 LLM智能体训练 · 进度元认知 ★ 深度解读
Shanghai Jiao Tong University · OPPO Research Institute
提出RePro框架，通过前向执行-回顾反思范式训练智能体从已完成轨迹中学习进度估计，以辅助长程任务决策，无需额外奖励模型
📌 工作参考价值（4 点）
- 长程多步决策中引入进度信号：在电商导购、多轮对话等 multi-step agent 场景，可借鉴 RePro 的前向-回顾范式，让模型在完成完整交互后重新标定每一步的完成度，以此作为辅助训练信号，缓解稀疏奖励问题。
- 过程奖励设计思路：复合奖励（进度塑造 + 在线-回顾对齐 + 格式正则化）避免了训练昂贵的独立过程奖励模型，可直接接入 GRPO/GiGPO 等现有 RL 训练管线，适合需要快速迭代的工业界 agent 训练。
- 元认知评估指标：使用 Intermediate Discrimination（成功与失败轨迹的最终进度差）作为进度估计质量的代理指标，可应用于 agent 上线前的离线评估，判断模型是否具备可靠的自我诊断能力。
- 低成本冷启动模板：利用少量外部 LLM 生成的回顾演示进行 SFT 预热，即可建立格式正确的反思行为，然后通过 RL 逐步内化，适合在业务数据上以较少样本启动 agent 的自我反思能力。